Dual Exam: Controlled Evaluation of Multimodal Agents and World Models
双考：多模态智能体与世界模型的受控评估
🧭 多模态 Agent 与世界模型评估
香港科技大学 · 新加坡国立大学 · 香港理工大学 · 东京大学 · 卡内基梅隆大学
提出 Dual Exam 框架，分别评估多模态 Agent 与世界模型，发现两者任务表现不均且耦合成功率低
📌 工作参考价值（4 点）
- 将 Agent 的动作选择与状态演化分开评估：在电商对话推荐、广告策略自动出价等场景中，先用固定环境响应测 Agent 决策，再固定动作序列测 World Model 预测，可解耦定位问题。
- 构建任务相关状态保持的专项 check：论文揭示 Agent 常丢失任务相关状态，实际推荐/搜索多轮对话中可加入状态保持测试用例，防止遗忘用户偏好、已选商品等关键上下文。
- 对于用 World Model 模拟用户反馈/市场响应的团队，需独立验证其 action-conditioned 预测准确率，不能仅靠端到端耦合成功率；150 例耦合实验零成功说明耦合评估会掩盖组件缺陷。
- 评测集设计采用“固定环境响应/固定动作干预”对照，可迁移到线上 Agent 评测系统，区分策略错误和模型预测错误，降低归因成本。